УДК 519.2:303.732.4	UDC 519.2:303.732.4	
		
МЕТОД ПРОВЕРКИ ГИПОТЕЗ ПО СОВОКУПНОСТИ МАЛЫХ ВЫБОРОК И ЕГО ПРИМЕНЕНИЕ В ТЕОРИИ СТАТИСТИЧЕСКОГО КОНТРОЛЯ	THE METHOD FOR HYPOTHESIS TESTING BASED ON SET OF SMALL SAMPLES AND ITS APPLICATION IN THE THEORY OF STATISTICAL CONTROL	
		
Орлов Александр Иванович
д.э.н., д.т.н., к.ф.-м.н., профессор	Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci., professor	
Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov@mail.ru 	Bauman Moscow State Technical University, Moscow, Russia 	
		
На основе статистики нечисловых данных предложен метод проверки независимости двух альтернативных признаков. Метод нацелен на применение в задачах статистического контроля качества продукции. Проверка независимости проводится по совокупности малых выборок, т. е. в асимптотике Колмогорова, когда число неизвестных параметров распределения растет пропорционально объему данных	We have proposed the method for testing of independence of two alternative variables on the basis of statistics of non-numeric data. The method is aimed at application in problems of statistical quality control. Testing of independence is based on set of small samples, i.e., in the Kolmogorov’s asymptotics, when the number of unknown parameters of the distribution increases in proportion to the data size	
		
Ключевые слова: СТАТИСТИЧЕСКИЕ МЕТОДЫ, КОНТРОЛЬ КАЧЕСТВА, АЛЬТЕРНАТИВНЫЕ ПРИЗНАКИ, ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ, КРИТЕРИЙ НЕЗАВИСИМОСТИ, МАЛАЯ ВЫБОРКА, АСИМПТОТИКА КОЛМОГОРОВА, НЕСМЕЩЕННЫЕ ОЦЕНКИ	Keywords: STATISTICAL METHODS, QUALITY CONTROL, ALTERNATIVE VARIABLES, STATISTICAL HYPOTHESIS TESTING, TEST OF INDEPENDENCE, SMALL SAMPLE, KOLMOGOROV ASYMPTOTICS, UNBIASED ESTIMATES	

	1. Введение
	Одна из важных областей экономико-математических методов организации промышленного производства – статистические методы управления качеством продукции (см. [1, гл.13], [2, гл.10], [3] и др.). Эта научно-практическая область продолжает развиваться [4], расширяя сферу своего применения на вопросы управления и контроллинга в различных сферах народного хозяйства [5, 6]. К ней относится статистический приемочный контроль, в котором по результатам испытаний элементов выборки делается вывод о качестве партии продукции. В простейшем варианте проводится контроль по альтернативному признаку, при котором возможны лишь два результата контроля конкретной единицы продукции – «соответствует требованиям» или «не соответствует требованиям», короче – «да» или «нет». 
	Рассмотрим статистический приемочный контроль по двум альтернативным признакам одновременно. В терминах теории люсианов [7] обсудим проблему проверки независимости двух альтернативных признаков. Ее приходится проводить по совокупности малых выборок, т.е. в так называемой асимптотике А.Н. Колмогорова, когда число неизвестных параметров распределения не является постоянным, а растет пропорционально объему данных.

	2. Испытания по двум альтернативным признакам
	При статистическом контроле качества продукции, в частности, при сертификации, чаще всего используют контроль по альтернативным признакам. При этом устанавливается, соответствует ли контролируемый параметр единицы продукции (изделия, детали) заданным в нормативно-технической документации требованиям или не соответствует. Если соответствует - единица продукции признается годной. Примем для определенности, что в этом случае результат контроля кодируется символом 0. Если же не соответствует - единица продукции признается дефектной, а результат контроля кодируется символом 1. 
	Таким образом, в рассматриваемой нами математической модели контроля альтернативный признак - это функция X = X(w), определенная на множестве единиц продукции W = {w} и принимающая два значения 0 и 1. Причем X(w) = 0 означает, что единица продукции w является годной, а X(w) = 1 - что она является дефектной. 
	Методы статистического контроля, в частности, включенные в государственные стандарты и иную нормативно-техническую документацию (НТД), как правило, используют контроль по одному признаку. В НТД указывают правила выбора планов контроля и расчета различных их характеристик, приводят графики оперативных характеристик и т.п.
	Однако на производстве контроль нередко проводится по нескольким альтернативным признакам. Возникает проблема выбора плана контроля и расчета его характеристик. 
	Рассмотрим сначала контроль по двум альтернативным признакам X(w) и Y(w). В вероятностной модели X(w) и Y(w) - случайные величины, принимающие два значения - 0 и 1. Пусть, пользуясь стандартной (для статистических методов управления качеством) терминологией,  
p1 = P(X(w) = 1) 
-  входной уровень дефектности для первого признака, а
p2 = P(Y(w) = 1) 
- для второго. Вероятности результатов контроля по двум признакам одновременно описываются четырьмя числами:
P(X(w) = 0, Y(w) = 0) = p00, P(X(w) = 1, Y(w) = 0) = p10,
P(X(w) = 0, Y(w) = 1) = p01,  P(X(w) = 1, Y(w) = 1) = p11.
При этом справедливы соотношения: 
p00 + p10 + p01 + p11 = 1,   p10  + p11 =  p1,  p01 + p11 = p2.
С прикладной точки зрения наиболее интересна вероятность p00 того, что единица продукции является годной (по всем параметрам), и вероятность ее дефектности (1-p00 ), т.е. входной уровень дефектности для изделия в целом. В табл.1 сведены вместе введенные выше вероятности.
 
Таблица 1. Вероятности результатов испытаний при статистическом контроле по двум альтернативным признакам
	X=0	X=1	Всего	
Y=0				
Y=1				
Всего			1	

	Есть три важных частных случая - поглощения, несовместности и независимости дефектов. Другими словами, поглощения, несовместности и независимости событий {w: X(w) = 1} и {w: Y(w) = 1}. В случае поглощения одно из этих событий содержит другое, а потому 
p00 = 1 - max(p1 , p2).
В случае несовместности
p00 = 1 -  p1  -  p2.
В случае независимости
p00   = (1 - p1)(1 - p2) =  1 - p1 - p2 + p1p2.
Очевидно, что вероятность годности изделия всегда заключена между значениями, соответствующими случаям поглощения и несовместности. Кроме того, известно, что при большом числе признаков и малой вероятности дефектности по каждому из них случаи поглощения и независимости дают (в асимптотике) крайние значения для вероятности годности изделия, т.е. формулы, соответствующие независимости и несовместности, асимптотически совпадают. Причина этого явления состоит в том, что при малости p1 и  p2 их произведение p1p2 является бесконечно малой более высокого порядка по сравнения с p1 и p2.
	Рассмотрим несколько примеров. Пусть некоторая продукция, скажем, гвозди, контролируются по двум альтернативным признакам, для определенности, по весу и длине. Пусть результаты контроля 1000 единиц продукции представлены в табл.2 

Таблица 2. Результаты 1000 испытаний (случай поглощения)
	Х=0	Х=1	Всего	
У=0	952	0	952	
У=1	0	48	48	
Всего	952	48	1000	

	Судя по данным табл.2, дефекты всегда встречаются парами - если есть один, то есть и другой. Входной уровень дефектности как по каждому показателю, так и по обоим вместе - один и тот же, а именно, 0,048. Получив по результатам статистического наблюдения данные типа приведенных в табл.2, целесообразно перейти к контролю только одного показателя, а не двух. Каково именно? Видимо, того, контроль которого дешевле. 
	Совсем иная ситуация в случае несовместности дефектов (табл.3).

Таблица 3. Результаты 1000 испытаний по двум
альтернативным признакам (случай несовместности )
	Х=0	Х=1	Всего	
У=0	904	48	952	
У=1	48	0	48	
Всего	952	48	1000	

	Судя по данным табл.3, дефекты всегда встречаются поодиночке - если есть один, то другого нет. В результате входной уровень дефектности по каждому признаку по-прежнему равен 0,048, в то время как доля дефектных изделий (т.е. имеющих хотя бы один дефект) вдвое выше, т.е. входной уровень дефектности для изделия в целом равен 0,096.
	Случай независимости результатов контроля по двум независимым признакам (табл.4) лежит между крайними случаями поглощения и несовместности. 

Таблица 4. Результаты 1000 испытаний по двум
альтернативным признакам (случай независимости)
	Х=0	Х=1	Всего	
У=0	909	43	952	
У=1	43	5	48	
Всего	952	48	1000	
	Независимость альтернативных признаков обосновывается путем статистической проверки с помощью описанного ниже критерия n1/2V. 
	Согласно данным табл.4, входной уровень дефектности для каждого из двух альтернативных признаков по-прежнему равен 0,048, в то время как для изделий в целом он равен 0,091, т.е. на 5,2% меньше, чем в случае несовместности, и на 89,6% больше, чем в случае поглощения.
	Проблема состоит в том, что таблицы и стандарты по статистическому приемочному контролю относятся обычно к случаю одного контролируемого параметра. А как быть, если контролируемых параметров несколько? Приведенные выше примеры показывают, что входной уровень дефектности изделия в целом не определяется однозначно по входным уровням дефектности отдельных его параметров.

	3. Гипотеза независимости
	Как должны соотноситься характеристики планов контроля по отдельным признакам с характеристиками плана контроля по двум (или многим) признакам одновременно? Рассмотрим распространенную рекомендацию - складывать уровни дефектности, т.е. считать, что уровень дефектности изделия в целом равен сумме уровней дефектности по отдельным его параметрам. Она, очевидно, опирается на гипотезу несовместности дефектов, а потому во многих случаях преувеличивает дефектность, следовательно, ведет к использованию излишне жестких планов контроля, что экономически невыгодно.
	Зная специфику применяемых технологических процессов, в ряде конкретных случаев можно предположить, что дефекты по различным признакам возникают независимо друг от друга. Это предположение необходимо обосновывать по статистическим данным. Если же оно обосновано, следует рассчитывать входной уровень дефектности по формуле
1 – p00 = p1 + p2 – p1p2,
 соответствующей независимости признаков.
	 Итак, необходимо уметь проверять по статистическим данным гипотезу независимости двух альтернативных признаков. Речь идет о статистической проверке нулевой гипотезы
Н0:  p11 = p1 p2 		 (1) 
(что эквивалентно проверке равенства p00 = (1 – p1)(1 – p2)). Нетрудно проверить, что гипотеза о справедливости равенства (1) эквивалентна гипотезе
 Н0 : p00 p11 – p10 p01 = 0. 		(2)
	В простейшем случае предполагается, что проведено n независимых испытаний (Xi, Yi), i = 1, 2, ..., n, в каждом из которых проконтролированы два альтернативных признака, а вероятности результатов контроля не меняются от испытания к испытанию. Общий вид статистических данных приведен в табл.5. 

Таблица 5. Общий вид результатов контроля
по двум альтернативным признакам.
	Х=0	Х=1	Всего	
У=0	a	b	a+b	
У=1	c	d	c+d	
Всего	a+c	b+d	n	

	В табл.5 величина a - число испытаний, в которых (Xi, Yi) = (0,0), величина b - число испытаний, в которых (Xi, Yi) = (1,0), и т.д.
	Случайный вектор (a, b, c, d) имеет мультиномиальное распределение с числом испытаний n и вектором вероятностей исходов (p00, p10, p01, p11). Состоятельными оценками этих вероятностей являются дроби a/n, b/n, c/n, d/n соответственно. Следовательно, критерий проверки гипотезы (2) может быть основан на статистике 
Z = ad – bc.		(3)
Как вытекает из известной формулы для ковариаций мультиномиального вектора (см., например, формулу (6.3.5) в учебнике С.Уилкса [8] на с. 153),
М(Z) = n (p10 p01  – p00 p11), 		(4)
что равно 0 при справедливости гипотезы независимости (2).
	Связь между переменными X и Y обычно измеряется коэффициентом, отличающимся от Z нормирующим множителем: 
V = (ad – bc){(a + b)(a + c)(b + d)(c + d)}-1/2 
(см., например, классическую монографию М. Дж. Кендалла и А. Стьюарта [9, с.723]). При справедливости гипотезы Н0 и больших n случайная величина nV2 имеет хи-квадрат распределение с одной степенью свободы, а n1/2V имеет стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1 (см. [9, с.736]). Значение n1/2V для данных табл.4 равно 1,866, т.е на уровне значимости 0,05 гипотезу независимости следует принять.
	Рассмотрим еще один пример. Пусть проведено 100 испытаний, результаты которых описаны в табл.6. Тогда
V = (50 . 20 – 10 . 20) (60 . 70 . 30 . 40)-1/2 = 
= (1000 – 200) . 5940000-1/2 = 800 / 2245 = 0,35635,
n1/2V = 3,5635  .

Таблица 6. Результаты 100 испытаний по двум альтернативным признакам.
	Х=0	Х=1	Всего	
У=0	50	10	60	
У=1	20	20	40	
Всего	70	30	100	

	Поскольку полученное значение n1/2V превышает критическое значение при любом применяемом в статистике уровне значимости, то гипотезу о независимости признаков необходимо отклонить. 

	4. Проверка гипотез по совокупности малых выборок
	К сожалению, приведенный простой метод годится не всегда. При статистическом анализе реальных данных возникают проблемы, связанные с отсутствием достаточно больших однородных выборок, т.е. выборок, в которых постоянны параметры вероятностных распределений. Реально единицы продукции представляются на контроль партиями, из каждой партии контролируются лишь несколько изделий, т.е. малая выборка. При этом от партии к партии меняются параметры p00, p10, p01, p11, описывающие уровень дефектности. Поэтому необходимы статистические методы, позволяющие проверять гипотезу независимости признаков по совокупности малых выборок. Построим один из возможных методов.
	Рассмотрим вероятностную модель совокупности k малых выборок объемов n1 , n2 ,..., nk соответственно. Пусть j -я выборка (Xjt, Yjt), t = 1, 2,..., nj, имеет распределение, задаваемое вектором параметров (p00j, p10j, p01j, p11j) в соответствии с ранее введенными обозначениями, j = 1,2,...,k . Будем проверять гипотезу
Н0:  p11j = (p10j + p11j) (p01j + p11j), j = 1,2,...,k,  		(5)
или в эквивалентной формулировке 
 Н0:  p11j p00j – p10j p01j , j = 1,2,...,k .		(6)
	Основная идея состоит в нахождении асимптотического распределения статистики типа n1/2V при росте числа k малых выборок. А именно, будем использовать статистику
 S = g1 Z1 +  g2 Z2 + ... +  gk Zk ,		(7)
где Z1, Z2, ..., Zk - статистики, рассчитанные по формуле (3) для каждой из k выборок, т.е. Zj = ajdj – bjcj, j = 1,2,...,k, а g1 , g2 , ... , gk - некоторые весовые коэффициенты, которые, в частности, могут совпадать. Поскольку
 М(S) = g1 М(Z1) +  g2 М(Z2) + ... +  gk М(Zk),
то при справедливости гипотезы независимости (5) – (6) имеем М(S) = 0, поскольку 
M(Zj) = 0, j = 1, 2, ..., k, 
при всех возможных значениях вектора параметров (p00j, p10j, p01j, p11j)  согласно соотношению (4). Поскольку слагаемые в сумме (7) независимы, то при росте k случайная величина S в силу Центральной Предельной Теоремы является асимптотически нормальной. Дисперсия этой величины равна сумме дисперсий слагаемых:
.	(8)
	Для оценивания дисперсии S необходимо использовать несмещенные оценки дисперсий в каждой из k выборок (и в этом одна из основных «изюминок» разбираемого метода). Предположим, что построены статистики Tj такие, что 
М(Tj) = D(Zj) , j = 1, 2, ..., k.		(9)
Тогда при некоторых математических «условиях регулярности», на которых нет необходимости здесь останавливаться, несмещенная оценка дисперсии статистики S, имеющая согласно формулам (8) и (9) вид 
,
в силу закона больших чисел такова, что дробь D(S)/L приближается к 1 при росте числа выборок (сходимость по вероятности). Отсюда следует, что распределение случайной величины Q = SL-1|2 приближается при росте числа выборок к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Следовательно, критерий проверки гипотезы (5) - (6) независимости признаков, состоящий в том, что при (-1,96) < Q < 1,96 гипотеза принимается, а при Q , выходящих за пределы интервала (-1,96; 1,96), гипотеза отклоняется, имеет уровень значимости, приближающийся к 0,05 при росте числа выборок. Мощность этого критерия зависит от значения величины М(S)D(S)-1|2 при альтернативной гипотезе.
	Для реализации намеченного плана осталось научиться несмещенно оценивать D(Zj). К сожалению, в литературе по несмещенному оцениванию не рассматривают случай мультиномиального распределения, поэтому кратко опишем процедуру построения несмещенной оценки D(Zj). Поскольку согласно формулам (3) и (4)
	(10)
то для вычисления D(Zj) достаточно найти входящие в правую часть формулы (10) начальные смешанные моменты мультиномиального распределения (четвертого порядка). Теоретически это просто - известен вид характеристической функции мультиномиального распределения (см., например, формулу (6.3.4) в монографии [8, с.152]), а начальные смешанные моменты равны значениям ее соответствующих производных в 0, деленным на нужную степень мнимой единицы (формула (5.2.3) в монографии [8, с.131]). Например, с помощью описанной процедуры после некоторых вычислений получаем, что (для упрощения записи здесь и далее опустим индекс j)
		(11)
Формула (11) показывает, что начальные смешанные моменты мультиномиального распределения являются многочленами от параметров p11, p00, p10, p01 этого распределения, однако конкретный вид этих многочленов достаточно громоздок, поэтому не будем их здесь выписывать, ограничившись формулой (11) в качестве образца. 
	Как вытекает из формул (10) и (11), для построения несмещенной оценки D(Zj) достаточно научиться несмещенно оценивать произведения типа , где целые неотрицательные числа r, m не превосходят 2. Эта задача решается, начиная с меньших степеней r и m. Известно, что для ковариации мультиномиального вектора 
М(ad) = – n p00 p11 		(12)
(см., например, формулу (6.3.5) в монографии [8, с.153]), а потому несмещенной оценкой для p00p11 является (–ad/n). Далее, поскольку справедлива аналогичная (11) формула
, 		(13)
то с помощью формулы (12) преобразуем формулу (13) к виду
,		(14)
т.е. несмещенной оценкой  является ad(a+n–1){n(n–1)(n–2)}-1. 
	Следующий шаг - аналогичным образом с помощью формул (12) и (14) получаем несмещенную оценку для , а затем и для D(Zj). Промежуточные формулы опущены из-за громоздкости. Окончательный результат таков:
.
Как легко видеть, 
,
т.е. в случае одной выборки предлагаемый метод проверки независимости совпадает с классическим. 
	Таким образом, общая идея рассматриваемого метода проверки гипотез по совокупности малых выборок состоит в том, что подбирается статистика, математическое ожидание которой для каждой малой выборки равно 0 при справедливости проверяемой гипотезы. Затем для каждой выборки строится несмещенная оценка дисперсии этой статистики. Итоговая статистика критерия для проверки гипотезы - это сумма рассматриваемых статистик для всех малых выборок, деленная на квадратный корень из суммы всех несмещенных оценок дисперсий рассматриваемых статистик. При справедливости нулевой гипотезы эта итоговая статистика имеет в асимптотике стандартное нормальное распределение (при выполнении некоторых математических «условий регулярности», которые обычно выполняются при анализе реальных статистических данных).  
	Впервые такой способ проверки гипотез по совокупности малых выборок был предложен в монографии [10, раздел 4.5]. Нестандартность постановки состоит в том, что число неизвестных параметров растет пропорционально объему данных, т.е. имеет место т.н. «асимптотика Колмогорова», или асимптотика растущей размерности. Подход к решению рассмотренной в настоящей статье задачи был намечен в [11]. Дальнейшее развитие математико-статистической теории применительно к данных типа «да» - «нет» (или «годен» - «дефектен») шло в рамках теории люсианов [7] как части статистики объектов нечисловой природы [12 – 14] и системной нечеткой интервальной математики [15, 16]. 

Литература
1.	Орлов А.И. Эконометрика. Учебник для вузов. Изд. 3-е, исправленное и дополненное. – М.: Экзамен, 2004. – 576 с.
2.	Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.3. Статистические методы анализа данных. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. – 624 с.
3.	Орлов А.И. Сертификация и статистические методы (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 1997. Т.63. № 3. С. 55 – 62.
4.	Орлов А.И. Всегда ли нужен контроль качества продукции у поставщика? / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2014. – №02(096). С. 969 – 982. – IDA [article ID]: 0961402070. – Режим доступа: http://ej.kubagro.ru/2014/02/pdf/70.pdf 
5.	Митрохин И.Н., Орлов А.И. Обнаружение разладки с помощью контрольных карт // Заводская лаборатория. Диагностика материалов. 2007. Т.73. № 5. С.74 – 78.
6.	Орлов А.И. Выявление отклонений в контроллинге (на примере мониторинга уровня безопасности полетов) /  А.И. Орлов, В.Д. Шаров // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2014. – №01(095). С. 184 – 203. – IDA [article ID]: 0951401008. – Режим доступа: http://ej.kubagro.ru/2014/01/pdf/08.pdf 
7.	Орлов А.И.  Теория люсианов / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2014. – №07(101). С. 275 – 304. – IDA [article ID]: 1011407015. – Режим доступа: http://ej.kubagro.ru/2014/07/pdf/15.pdf
8.	Уилкс С. Математическая статистика. – М.: Наука, 1967. – 632 с.
9.	Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. – М.: Наука, 1973. – 900 с.
10.	Орлов А.И. Устойчивость в социально-экономических моделях. – М.: Наука, 1979. – 296 с.
11.	Орлов А.И. Статистический контроль по двум альтернативным признакам и метод проверки их независимости по совокупности малых выборок // Заводская лаборатория. Диагностика материалов. 2000. Т.66. № 1. С.58 – 62.
12.	Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч. 1. Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2009. — 541 с.
13.	Орлов А.И. Тридцать лет статистики объектов нечисловой природы (обзор) // Заводская лаборатория. Диагностика материалов. 2009. Т.75. № 5. С. 55 — 64.
14.	Орлов А.И. О развитии статистики объектов нечисловой природы / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2013. – №09(093). С. 273 – 309. – IDA [article ID]: 0931309019. – Режим доступа: http://ej.kubagro.ru/2013/09/pdf/19.pdf 
15.	. Орлов А.И. Системная нечеткая интервальная математика (СНИМ) – перспективное направление теоретической и вычислительной математики /  А.И. Орлов, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2013. – №07(091). С. 255 – 308. – IDA [article ID]: 0911307015. – Режим доступа: http://ej.kubagro.ru/2013/07/pdf/15.pdf 
16.	Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). – Краснодар, КубГАУ. 2014. – 600 с.

References
1.	Orlov A.I. Jekonometrika. Uchebnik dlja vuzov. Izd. 3-e, ispravlennoe i dopolnennoe. – M.: Jekzamen, 2004. – 576 s.
2.	Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie : uchebnik : v 3 ch. Ch.3. Statisticheskie metody analiza dannyh. – M.: Izd-vo MGTU im. N.Je. Baumana, 2012. – 624 s.
3.	Orlov A.I. Sertifikacija i statisticheskie metody (obobshhajushhaja stat'ja) // Zavodskaja laboratorija. Diagnostika materialov. 1997. T.63. № 3. S. 55 – 62.
4.	Orlov A.I. Vsegda li nuzhen kontrol' kachestva produkcii u postavshhika? / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar: KubGAU, 2014. – №02(096). S. 969 – 982. – IDA [article ID]: 0961402070. – Rezhim dostupa: http://ej.kubagro.ru/2014/02/pdf/70.pdf 
5.	Mitrohin I.N., Orlov A.I. Obnaruzhenie razladki s pomoshh'ju kontrol'nyh kart // Zavodskaja laboratorija. Diagnostika materialov. 2007. T.73. № 5. S.74 – 78.
6.	Orlov A.I. Vyjavlenie otklonenij v kontrollinge (na primere monitoringa urovnja bezopasnosti poletov) /  A.I. Orlov, V.D. Sharov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar: KubGAU, 2014. – №01(095). S. 184 – 203. – IDA [article ID]: 0951401008. – Rezhim dostupa: http://ej.kubagro.ru/2014/01/pdf/08.pdf 
7.	Orlov A.I.  Teorija ljusianov / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar: KubGAU, 2014. – №07(101). S. 275 – 304. – IDA [article ID]: 1011407015. – Rezhim dostupa: http://ej.kubagro.ru/2014/07/pdf/15.pdf
8.	Uilks S. Matematicheskaja statistika. – M.: Nauka, 1967. – 632 s.
9.	Kendall M.Dzh., St'juart A. Statisticheskie vyvody i svjazi. – M.: Nauka, 1973. – 900 s.
10.	Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah. – M.: Nauka, 1979. – 296 s.
11.	Orlov A.I. Statisticheskij kontrol' po dvum al'ternativnym priznakam i metod proverki ih nezavisimosti po sovokupnosti malyh vyborok // Zavodskaja laboratorija. Diagnostika materialov. 2000. T.66. № 1. S.58 – 62.
12.	Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie : uchebnik : v 3 ch. Ch. 1. Nechislovaja statistika. – M.: Izd-vo MGTU im. N.Je. Baumana, 2009. — 541 s.
13.	Orlov A.I. Tridcat' let statistiki ob#ektov nechislovoj prirody (obzor) // Zavodskaja laboratorija. Diagnostika materialov. 2009. T.75. № 5. S. 55 — 64.
14.	Orlov A.I. O razvitii statistiki ob#ektov nechislovoj prirody / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar: KubGAU, 2013. – №09(093). S. 273 – 309. – IDA [article ID]: 0931309019. – Rezhim dostupa: http://ej.kubagro.ru/2013/09/pdf/19.pdf 
15.	. Orlov A.I. Sistemnaja nechetkaja interval'naja matematika (SNIM) – perspektivnoe napravlenie teoreticheskoj i vychislitel'noj matematiki /  A.I. Orlov, E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar: KubGAU, 2013. – №07(091). S. 255 – 308. – IDA [article ID]: 0911307015. – Rezhim dostupa: http://ej.kubagro.ru/2013/07/pdf/15.pdf 
16.	Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika. Monografija (nauchnoe izdanie). – Krasnodar, KubGAU. 2014. – 600 s.